Custom Writable এবং WritableComparable Interface

হাদুপের MapReduce প্রোগ্রামে কাস্টম ডেটা টাইপ ব্যবহার করার জন্য Writable এবং WritableComparable ইন্টারফেস দুটি খুবই গুরুত্বপূর্ণ। এগুলো ডেটার রিডিং, রাইটিং এবং কম্পেয়ারিং প্রক্রিয়াগুলি নিয়ন্ত্রণ করে।

Writable Interface (Writable ইন্টারফেস)

Writable একটি হাদুপ ইন্টারফেস যা হাদুপ প্রোগ্রামগুলিতে কাস্টম অবজেক্টগুলোকে ডেটা স্টোরেজ এবং ট্রান্সফার করতে সক্ষম করে। যেকোনো কাস্টম ডেটা টাইপ, যা MapReduce প্রোগ্রামে ব্যবহার করা হবে, তাকে Writable ইন্টারফেস ইমপ্লিমেন্ট করতে হবে। এই ইন্টারফেস দুটি প্রধান মেথড প্রয়োজন:

1. void write(DataOutput out):
   এই মেথডটি কাস্টম অবজেক্টের ডেটাকে বাইনারি ফরম্যাটে আউটপুট স্ট্রীমে লেখার কাজ করে।
2. void readFields(DataInput in):
   এই মেথডটি বাইনারি ফরম্যাট থেকে ডেটা পড়ে কাস্টম অবজেক্টে রূপান্তর করে।

Writable ইন্টারফেসের উদাহরণ

ধরা যাক, আমরা একটি Pair ক্লাস তৈরি করতে চাই, যা দুটি মান ধারণ করবে (যেমন String এবং Integer)। এই ক্লাসটি Writable ইন্টারফেস ইমপ্লিমেন্ট করবে।

import java.io.DataInput;
import java.io.DataOutput;
import java.io.IOException;
import org.apache.hadoop.io.Writable;

public class Pair implements Writable {
    private String key;
    private int value;

    // Getter and Setter methods
    public String getKey() {
        return key;
    }

    public void setKey(String key) {
        this.key = key;
    }

    public int getValue() {
        return value;
    }

    public void setValue(int value) {
        this.value = value;
    }

    @Override
    public void write(DataOutput out) throws IOException {
        out.writeUTF(key);
        out.writeInt(value);
    }

    @Override
    public void readFields(DataInput in) throws IOException {
        this.key = in.readUTF();
        this.value = in.readInt();
    }
}

উপরের উদাহরণে, Pair ক্লাসটি Writable ইন্টারফেস ইমপ্লিমেন্ট করেছে এবং write() এবং readFields() মেথডগুলিকে কাস্টম ডেটা টাইপের জন্য প্রয়োগ করা হয়েছে।

WritableComparable Interface (WritableComparable ইন্টারফেস)

WritableComparable ইন্টারফেস Writable ইন্টারফেসের একটি এক্সটেনশন যা ডেটা অবজেক্টের তুলনা (Comparison) করার ক্ষমতা দেয়। যখন কোনো কাস্টম ডেটা টাইপ WritableComparable ইন্টারফেস ইমপ্লিমেন্ট করে, তখন এটি ইনপুট বা আউটপুট ডেটাকে কম্পেয়ার করতে সক্ষম হয়।

WritableComparable ইন্টারফেসে একটি অতিরিক্ত মেথড থাকে:

1. int compareTo(T o):
   এই মেথডটি দুটি অবজেক্টের তুলনা (Comparison) করে এবং ফলস্বরূপ একটি পূর্ণসংখ্যা রিটার্ন করে।
   • 0 রিটার্ন করলে, অর্থাৎ দুটি অবজেক্ট সমান।
   • নেগেটিভ সংখ্যা রিটার্ন করলে, প্রথম অবজেক্ট দ্বিতীয় অবজেক্ট থেকে ছোট।
   • পজিটিভ সংখ্যা রিটার্ন করলে, প্রথম অবজেক্ট দ্বিতীয় অবজেক্ট থেকে বড়।

WritableComparable ইন্টারফেসের উদাহরণ

ধরা যাক, আমরা Pair ক্লাসটি WritableComparable হিসেবে পরিবর্তন করতে চাই, যাতে আমরা এর অবজেক্টগুলি তুলনা করতে পারি।

import java.io.DataInput;
import java.io.DataOutput;
import java.io.IOException;
import org.apache.hadoop.io.WritableComparable;
import org.apache.hadoop.io.Text;

public class Pair implements WritableComparable<Pair> {
    private String key;
    private int value;

    // Getter and Setter methods
    public String getKey() {
        return key;
    }

    public void setKey(String key) {
        this.key = key;
    }

    public int getValue() {
        return value;
    }

    public void setValue(int value) {
        this.value = value;
    }

    @Override
    public void write(DataOutput out) throws IOException {
        out.writeUTF(key);
        out.writeInt(value);
    }

    @Override
    public void readFields(DataInput in) throws IOException {
        this.key = in.readUTF();
        this.value = in.readInt();
    }

    @Override
    public int compareTo(Pair other) {
        int result = this.key.compareTo(other.key);
        if (result == 0) {
            result = Integer.compare(this.value, other.value);
        }
        return result;
    }
}

এখানে, Pair ক্লাসটি WritableComparable ইন্টারফেস ইমপ্লিমেন্ট করেছে। compareTo() মেথডটি প্রথমে key তুলনা করে, এবং যদি key সমান হয়, তবে value তুলনা করে।

Writable এবং WritableComparable এর ব্যবহারের সুবিধা

1. ডেটার ইম্প্লিমেন্টেশন সহজ: কাস্টম ডেটা টাইপের জন্য Writable এবং WritableComparable ব্যবহারের মাধ্যমে ডেটার স্টোরেজ এবং তুলনা সহজ হয়।
2. দ্রুত ডেটা প্রক্রিয়াকরণ: সঠিকভাবে কাস্টম টাইপ ব্যবহার করলে প্রোগ্রাম আরও দ্রুত ও কার্যকরী হয়।
3. ডেটা প্রক্রিয়াকরণের মধ্যে তুলনা: WritableComparable কম্পেয়ারবেল ডেটা ব্যবহার করে বিশেষভাবে ডেটার সাজানো এবং গ্রুপিং করতে সুবিধা দেয়।

সারাংশ

Writable এবং WritableComparable হাদুপে কাস্টম ডেটা টাইপ ব্যবহারের জন্য অপরিহার্য ইন্টারফেস। Writable ডেটা লিখা এবং পড়ার কাজ করে, যেখানে WritableComparable তুলনা করার জন্য ব্যবহৃত হয়। এগুলো MapReduce প্রোগ্রামে কাস্টম ডেটা প্রক্রিয়াকরণ ও শ্রেণীবদ্ধকরণের (Sorting) প্রক্রিয়া সহজতর করে।